Ngày 4 tháng 5 năm 2011, bạn gái của anh, một vận động viên cưỡi ngựa vượt chướng ngại vật có tên Ellen Whitaker, công bố tin hai người đã đính hôn.[7][8][9] Ngày 18 tháng 8 năm 2012, cặp đôi đã chia tay.[10] Cavill bắt đầu hẹn hò với nữ diễn viên và cựu nghệ sĩ võ thuật người Mỹ Gina Carano từ tháng 9 năm 2012.[11] Tháng 7 năm 2013, Cavill hẹn hò với nữ diễn viên Kaley Cuoco và chia tay nhau chỉ ít tuần sau đó.

Trong một lần phỏng vấn với TV Guide và một bài báo mạng bởi Daily Record, Cavill chia sẻ anh từng bị bắt nạt vì quá béo khi còn nhỏ. Tuy nhiên, Cavill cho biết mình không để bụng về những kẻ bắt nạt đó.